Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
弱到强泛化的 On-Policy 反向蒸馏方法
🧭 弱到强泛化蒸馏训练方法
KAIST AI · Microsoft · University of Toronto · Mila · Université de Montréal
用 On-Policy Reverse Distillation 放大教师策略偏移分量，实现弱到强泛化且不施加教师容量上限
📌 工作参考价值（3 点）
- 模型迭代中利用旧模型知识：电商推荐/搜索排序模型升级（如从精排小模型到 LLM-based ranker）时，旧模型可作为弱教师，用 OPRD 思路在 on-policy rollouts 上计算教师策略偏移，加速新模型训练且避免继承旧模型容量上限，减少全量 RL 成本。
- 多域/多业务模型融合：广告、推荐、搜索多场景有各自模型，可作为多教师进行蒸馏，OPRD 的多教师扩展可能比直接加权蒸馏更高效；结合 verifier（如业务指标奖励模型）过滤教师更新方向，只放大与 verifier 一致的教师指导，防止负迁移。
- Agent 策略训练：在 LLM Agent 或生成式推荐策略优化中，实施 on-policy 蒸馏：用学生自我生成 rollout 评估教师策略位移，仅对 verifier 支持的方向放大梯度，保持策略优化不动点，可避免教师过度约束导致模式坍缩。